草庐IT

MySQL group-by 非常慢

全部标签

postgresql - 内存存储非常简单

在将数据添加到PostgreSQL之前,我需要一些非常简单的存储来保存数据。目前,我有从客户端收集数据的网络应用程序。这个数据不是很重要。应用程序从一个客户端收集大约50kb的数据(简单字符串)。它将每小时收集大约2GB数据。这些数据不需要尽快,即使丢失也没什么。有没有现成的方案先在内存中存一段时间(~1小时),然后全部写入PostgreSQL。我不需要以任何方式查询它。我可能会使用Redis,但是Redis对于这个任务来说太复杂了。我可以自己写一些东西,但是这个工具必须处理许多存储数据的请求(可能每秒大约100个)并且现有的解决方案可能更好。谢谢,德米特里

python - 为什么在 Socket 和 TCP 上从 Redis 获取数据非常慢?

我有365集。每个都是指从2011-01-01到2012-01-01的一天。在每个SET中,我都有8000个值。它最多有3到5个字符,例如:271。当我在python中发出SMEMBERS命令时,大约需要17.7秒!redis-cli中的示例结果:$SMEMBERSprefix:2011-01-011)"2442"2)"5483"...7999)"7911"8000)"42968"在带有Redisversion='2.10.3'的python中,我使用套接字而不是TCP以获得更好的性能。INFO命令提供有关服务器、内存的以下信息:#Serverredis_version:2.8.19r

Linux(ubuntu、centos): kex_exchange_identification: Connection closed by remote host

一、连接服务器报错今天我在连接我的Ubuntu服务器的时候,发现连不上,报下面这个错误。net.schmizz.sshj.transport.TransportException:Serverclosedconnectionduringidentificationexchange进一步研究发现报错:kex_exchange_identification:Connectionclosedbyremotehost二、原因当你在尝试使用SSH连接到一个Ubuntu服务器时遇到"kex_exchange_identification:Connectionclosedbyremotehost"错误,这通

redis - 当 .aof 文件非常大时会发生什么?

我正在使用Redis2.8.4。仅在配置中启用附加。根据我的要求,它工作正常,但这个文件可能会变得越来越大,因此将来可能会造成内存不足?有什么解决办法吗? 最佳答案 Redis有一种方法可以通过删除无用的操作来压缩aof文件。Forexample,ifyouareincrementingacounter100times,you'llendupwithasinglekeyinyourdatasetcontainingthefinalvalue,but100entriesinyourAOF.99ofthoseentriesarenotn

hash - Redis - 非常大的单条记录(哈希表)

我们在这里有一个巨大的争议:我们在服务器上安装了Redis,我们想在其中保存几种类型的数据:一些零星变量(针对每个用户-所以不仅仅是几条记录)一个非常大的表会随着时间增长争论的焦点是如何保存提到的表格我们都知道Redis的GET时间复杂度是O(1)-所以我们可以将表的每条记录存储为Redis中的一条记录(通过一些前缀来知道它是该表行)或我们可以将表作为单个记录存储在Redis中作为哈希-然后在哈希中访问我们想要的行-这是两个O(1)的步骤。我认为Redis中不断增长的巨大SINGLE记录是灾难性的,但我需要的不仅仅是我对此的看法-我需要Redis专家的回应,指出该方法的错误或证明我错了

redis - LRANGE 的行为非常奇怪

好像我不明白这个方法(LRANGE)。情况如下。我在Python中将一些数据添加到两个列表中,一个名为tables,另一个名为object_1_。我将多个项目推送到tables列表,并将一个项目推送到object_1_列表。我是这样做的:db.lpush('object_1_','some_data')db.lpush('tables','somedata')......db.lpush('tables','somedata')当我转到redis-cli时,我看到了一些我觉得很奇怪的东西。我执行以下操作:redis-cli>lrangeobject_1_-10somedataredis

Redis 从服务器读取错误 : Connection reset by peer

我想使用管道模式向redis插入一些数据。当我运行时cattest-TXT.txt|./redis-4.0.1/src/redis-cli-h10.99.205.240--pipe我收到这个错误:Errorreadingfromtheserver:Connectionresetbypeer这是test-Txt.txt内容:enterimagedescriptionhereRedis.conf:protected-modenobind10.99.205.240其他配置默认使用。我可以使用logstash向redis插入数据。 最佳答案

node.js - mongodb 服务在说 serverStatus 非常慢后崩溃

我在EC2上有一个mongodb服务。一段时间后它会自动崩溃。当我执行systemctlstatusmongodb时,它给了我以下输出:●mongodb.service-High-performance,schema-freedocument-orienteddatabaseLoaded:loaded(/etc/systemd/system/mongodb.service;enabled;vendorpreset:enabled)Active:failed(Result:signal)sinceFri2017-02-1702:00:00UTC;3h37minagoMainPID:115

mongodb - 运行查询时mongo上的聚合函数运行速度非常慢

尝试在Mongo上的聚合函数上运行查询,目前需要16秒,而我希望的结果不到一秒{"$lookup":{"from":"session_attendances","let":{"id":"$_id"},"pipeline":[{"$match":{"$expr":{"$eq":["$student","$$id"]}}},{"$project":{"attendance_code":"$attendance_code"}}],"as":"attendance"}},{//keeponlymatchedstudents,canskipthisandmodifiythenextphasein

ruby-on-rails - 无架构数据库 : Indexing dynamically-typed things by their properties?

在RDBMS中,您可以声明类型(表)和子类型(具有父类(superclass)型FK的子类型表)。在Rails中,这将是类表继承。例如,您可以有Person表和一个Friend子类型表,其中包含有关此人的更多个人详细信息(例如生日/周年纪念日)。当您跳入NoSQL世界并使用像MongoDB这样的文档数据库时,实现子类型要容易得多,因为集合是无模式的。这是创建CMS的理想选择。您现在可以动态键入任何内容。事实上,一个事物可以是多类型的,具有其所有类型的属性。也不太棘手。但这是棘手的部分。你想索引你的动态类型的东西(例如你的“东西”集合)。您想要按start_date搜索事件事物。您想按名